第 43 卷 第 2 期 桂林 电子 科技 大 学 学 报 
2023 年 4 月 Journal of Guilin University of Electronic Technology Apr. 2023 


基于 稀 玻 优化 的 异常 分 布 检测 方法 
陈 启 超 , F 宽 


(东莞 理工 学 院 网 络 空间 安全 学 院 , 广 东 东莞 523808) 


摘 要 :现代 神经 网 络 可 能 会 对 来 自 训练 分 布 之 外 的 输入 产生 高 置信 和 度 的 预测 结果 ,对 机 带 学 习 模 型 构成 潜在 威胁 。 检 测 
异常 分 布 的 输入 是 在 现实 世界 中 安全 部 署 模型 的 核心 问题 。 基 于 能 量 模型 的 检测 方法 ,直接 利用 模型 提取 的 特征 向 量 计 
算 样本 的 能 量 分 数 ,而 依赖 并 不 重要 的 特征 可 能 会 影响 检测 的 性 能 。 为 了 解决 该 问题 ,提出 了 一 种 基于 稀 玻 优化 的 损失 函 
数 。 对 已 经 预 训 练 完成 的 分 类 模型 进行 微调 ,在 学 习 过 程 中 保持 模型 分 类 能 力 的 同时 ,增加 正常 样本 特征 的 稀 玻 程度 ,使 
得 正常 样本 的 能 量 分 数 降低 ,正常 样本 与 异常 样本 之 间 的 分 数 差异 变 大 ,从 而 提高 检测 效果 。 该 方法 并 未 引入 异常 的 辅助 
数据 集 ,避免 了 样本 之 间 相 关 性 的 影响 。 在 数据 集 CIFAR-10 和 CIFAR-100 上 的 实验 结果 表明 ,该 方法 将 检测 6 个 异常 数 

ERIP FPR 95 分 别 降低 了 15.02% 和 15. 41%。 
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Sparsity-based regularization for out-of-distribution detection 
CHEN Qichao, LI Kuan 
(School of Cyberspace Security, Dongguan University of Technology, Dongguan 523808, China) 


bstract: Modern neural networks may produce high confidence prediction results for inputs from outside the training distri- 


“bution, posing a potential threat to machine learning models. Detecting inputs from out-of-distributions is a central issue in 


the safe deployment of models in the real world, Detection methods based on energy models directly use the feature vectors 


racted by the model to calculate the energy score of a sample, and reliance on features that are not significant may affect 


Mie performance of the detection. To alleviate this problem, a loss function based on sparse regularization is proposed to 


ine-tune a classification model that has been pre-trained to increase the sparsity of in-distribution sample features while 


„Maintaining the classification power of the model during the learning process. This results in a lower energy score for in-dis- 
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(tribution samples and a larger difference in scores between in-distribution and out-of-distribution samples, thus improving 


detection performance. Furthermore, the method does not introduce an external auxiliary dataset, avoiding the effect of cor- 
relation between samples. Experimental results on datasets CIFAR-10 and CIFAR-100 show that the method reduced the av- 
erage FPR 95 of detecting the six abnormal datasets by 15.02% and 15. 41% respectively. 


Key words: neural network; out-of-distribution detection; energy score; fine-tuning; sparsity regularization 


近年 来 ,在 机 器 学 习 领 域 基于 深度 神经 网 络 ”来 越 多 的 工作 证 明 ” , DNN 模型 存在 对 异常 分 布 数 
(DNN) 的 算法 在 分 类 任务 上 取得 了 显著 的 成 果 ""。 ” 据 过 拟 合 的 问题 , 即 对 于 来 自 未 知 分 布 的 输入 数据 ， 
在 设计 算法 阶段 ,处 于 静态 和 封闭 的 理想 环境 中 ,使 。 可 能 会 产生 一 个 过 度 自信 的 错误 结 
用 特定 分 布 的 数据 集合 训练 DNN 分 类 模型 ,针对 特 在 现实 世界 中 部 署 机 带 学 习 模 型 时 ,确保 系统 的 
定 分 布 输入 数据 并 做 预测 。 在 真实 应 用 场景 中 ,模型 ” 可 靠 性 和 安全 性 至 关 重 要 。 一 个 可 靠 的 机 器 学 习 系 
容易 遇 到 异常 分 布 的 输入 ,而 它 也 会 尝试 去 做 预测 ， ” 统 不 仅 应 该 对 在 其 熟悉 分 布 的 已 知 输入 上 产生 准确 
对 这 类 输入 的 预测 结果 可 能 会 出 乎 意料 。 实 际 上 , 越 ” 的 预测 ,还 应 该 能 检测 到 其 不 熟悉 分 布 的 未 知 输入 并 
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拒绝 ,随后 再 将 它们 移交 给 人 类 用 户 进 行 安全 处 理 。 
例如 ,在 无 人 驾驶 汽车 中 四 ,希望 驾驶 系统 能 够 在 检 
测 到 以 前 从 未 见 过 的 异常 场景 或 者 物体 ,在 无 法 做 出 
安全 决定 时 ,可 及 时 发 出 警报 并 迅速 将 驾驶 控制 权 移 
交 给 人 类 。 为 了 在 真实 世界 的 应 用 场景 中 安全 地 部 
署 DNN 模型 ,异常 分 布 检测 问题 被 提出 并 迅速 引起 
广泛 关注 器 ,其 旨 在 确定 模型 的 输入 是 否 来 自 训练 数 
据 的 分 布 ,以 防止 模型 产生 不 可 靠 的 预测 结果 。 蜡 党 
分 布 检测 要 求 模型 不 仅 需要 准确 处 理 看 得 见 的 类 ( 通 
常 称 为 正常 样本 ) ,还 需要 能 够 有 效 处 理 看 不 见 的 类 
(异常 样本 )。 从 实践 的 角度 来 看 , 随 着 基于 DNN 的 
算法 在 工业 界 广 泛 应 用 ,使 得 模型 具备 这 种 能 力 成 为 
一 种 必然 要 求 。Liu 等 四 提出 一 种 能 量 评分 函数 并 
将 其 用 于 检测 异常 分 布 ,为 进一步 提高 检测 效果 ,还 
提出 了 一 种 基于 能 量 的 微调 模型 的 损失 函数 。 在 学 
习 建 程 中 ,该 函数 需要 用 异常 数据 集 来 辅助 模型 进行 
训练 ,并 将 相对 较 低 的 能 量 值 分 配给 正常 训练 数据 ， 
将 较 高 的 能 量 值 分 配给 辅助 训练 的 异常 数据 ,从 而 达 
到 让 常 样本 能 量 值 低 . 异 常 样本 能 量 值 高 的 目的 。 然 
而 \ 该 方法 在 训练 阶段 引入 了 依赖 于 数据 集 的 超 参 
闫 5 朋 由 于 大 规模 的 辅助 异常 数据 集 ,训练 成 本 (包括 
时 间 和 存储 消耗 特别 高 。 

中 〇 鉴于 此 ,提出 了 一 种 基于 稀 政 优化 的 方法 ,用 于 
获 浊 基于 能 量 的 方式 。 该 方法 不 引入 额外 数据 集 和 
超 戎 数 ,易于 实现 和 使 用 ,可 显著 降低 训练 成 本 ,并 避 
信 数 据 集 相关 性 带 来 的 问题 ,从 而 提高 基于 能 量 分 数 
ARE HERE 


1 己基 于 预 训练 模型 的 方法 


“基于 预 训练 模型 的 方法 是 指 给 定 一 个 已 预 训练 
好 的 DNN 分 类 模型 ,利用 其 输出 空间 中 的 信息 来 计 
算 样 本 的 异常 分 数 ,从 而 检测 出 异常 数据 ,优点 是 易 
于 使 用 ,无 需 修改 训练 程序 和 目标 。Hendrycks 47 
提出 基于 预 训练 模型 的 检测 方法 MSP, 使 用 模型 对 
输入 数据 产生 的 分 类 进行 预测 , 即 用 Softmax 概率 
向 量 中 概率 的 最 大 值 作为 异常 分 数 ,以 区 分 待 测试 样 
本 是 否 异常 。 

Liang 等 中 对 MSP 方法 进行 了 改进 ,提出 了 O- 
DIN 方法 。 该 方法 对 Softmax 层 的 输出 按照 比例 进 
行 缩放 ,并 在 待 测 数据 的 输入 空间 中 添加 一 定 扰动 ， 

以 增加 正常 样本 与 异常 样本 之 间 预 测 概率 的 问 隔 , 提 
高 了 检测 性 能 。Hsu 等 中 提出 了 广义 的 ODIN ,通过 
分 解 模型 输出 的 预测 概率 的 方式 扩展 了 ODIN, 避免 
了 需要 使 用 到 异常 数据 的 问题 。Mahalanobis 上 思 先 用 
预 训练 模型 提取 正常 样本 的 特征 ,再 用 类 条 件 高 斯 分 
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布 对 该 特征 进行 建 模 ,计算 待 测试 样本 与 高 斯 分 布 之 
间 的 马 氏 距离 ,并 将 其 作为 异常 分 数 。EBD" 从 能 量 
模型 的 视角 推导 出 了 一 种 能 量 评分 函数 ,认定 具有 较 
低能 量 的 测试 样本 为 正常 样本 ,具有 较 高 能 量 值 的 测 
试 样 本 为 异常 样本 ,该 方法 提升 了 能 量 分 数 的 检测 


1.1 基于 异常 值 暴露 的 方法 


基于 异常 值 暴 露 的 方法 是 指 借助 一 些 多 样 化 的 ， 
将 与 正常 样本 ,测试 样本 具有 不 同 分 布 的 样本 作为 辅 
助 模型 训练 的 “异常 值 ” ,在 训练 期 间 将 其 主动 暴露 给 
模型 ,鼓励 模型 去 学 习 正 党 样本 与 异常 样本 之 间 的 差 
异 , 进 而 启发 模型 去 概括 和 检测 看 不 见 的 异常 。 最 早 
的 异常 值 暴露 是 OE ,其 在 分 类 任务 的 基础 上 , 通 
过 引入 一 个 大 规模 的 异常 样本 数据 集 55 ,提出 了 一 
个 额外 的 优化 目标 。 优 化 过 程 中 ,模型 需要 在 正确 分 
类 正常 样本 的 同时 ,对 给 定 的 辅助 异常 样本 产生 均匀 
分 布 的 Softmax 预测 概率 。 此 后 , Papadoroucos 
等 中 引 注 意 到 通过 额外 的 置信 和 度 校准 可 为 OE 带 来 改 
进 。Yu 等 5 提出 一 种 双 分 支 的 分 类 网 络 , 在 训练 过 
程 中 通过 最 大 化 2 个 分 类 器 决策 边界 之 间 的 距离 来 
增加 正常 样本 与 异常 样本 的 可 区 分 性 。 当 无 可 用 的 
异常 样本 时 ,可 用 算法 合成 异常 样本 来 增 大 不 同 分 布 
之 间 的 距离 。Lee 等 "中 利用 GAN 生成 异常 训练 样 
本 ,在 低 置信 度 区 域 生成 边界 样本 ,并 强制 模型 将 其 
预测 为 均匀 分 布 , 但 这 类 方法 训练 成 本 很 高 。 

为 了 有 效 利用 异常 样本 ,可 通过 使 用 异常 值 挖 
掘 2 或 对 抗 重 采 样 2 的 方法 来 获得 紧凑 且 具 有 代 
表 性 的 数据 集合 ;考虑 更 实际 的 场景 ,由 于 给 定 的 异 
常 样本 中 可 能 包含 正常 样本 ,可 用 伪 标 记 或 者 过 
滤 正 常 样本 的 方法 "来 减少 引入 的 数据 相关 性 对 模 
型 的 和 干扰。 一般 来 说 ,基于 异常 值 暴露 的 方法 可 达到 
更 好 的 检测 效果 ,但 异常 值 骏 露 对 于 异 稼 数据 集 的 可 
用 性 强加 了 强 有 力 的 假设 ,这 在 实践 中 可 能 是 不 可 行 
的 。 在 现实 环境 中 ,由 于 客观 因素 不 可 避免 地 会 引入 
正常 样本 ,过 滤 掉 的 成 本 很 高 。 鉴 于 此 ,提出 一 种 基 
于 稀 疏 优化 的 方法 ,无 需 用 到 异常 数据 集 辅助 模型 
训练 。 


2 基于 稀疏 优化 的 检测 框架 


2.1 问题 描述 

异常 分 布 检测 可 以 形式 化 为 一 个 二 元 分 类 问题 。 
假设 Px 为 任意 样本 空间 X 上 定义 的 数据 分 布 ,从 
Px 中 独立 同 分 布 采样 一 批 样本 ,作为 训练 模型 的 数 
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据 集合 Din. 其 中 样本 所 对 应 的 标签 集合 Y 二 (1,2, 
…,C)。 在 异常 分 布 检测 领域 的 上 下 文中 ,通常 把 与 
Di 同 分 布 的 样本 称 为 “正常 样本 ”, 否则 为 “异常 样 
本 ”。 异 常 样本 是 指 来 自 不 相关 分 布 的 样本 ,其 标签 
集合 与 Y 无 交集 。 

使 用 训练 数据 集 Di 训练 一 个 DNN 分 类 模型 
fo 异常 分 布 检测 的 目标 是 通过 设计 一 个 估计 函数 
Glas f) 来 评估 输入 的 数据 是 否 来 自分 布 Px。 检 
Mik Ga; f) 定义 如 下 : 

0, S(r) <6; 
G= (1) 


1, Str; fo >6. 
其 中 : S O 为 计算 待 测试 样本 异常 程度 的 评分 函 
数 ; 6 Abril ares eae. 

BE $ 根据 实际 的 需求 来 选择 ,用 以 调节 模型 的 
容错 能 力 ,在 实验 中 ,通常 选择 能 够 将 95% 的 正常 样 
本 下 确 识别 情况 下 所 对 应 的 值 若 置信 度 分 数 
Q 放大 于 5, MEW G; O 认为 待 测试 样本 
常 样本 ,标记 为 "12 ;反之 , SCas f) NFO, WA 
为 竺 测试 样本 为 异常 样本 ,标记 为 "0”。 

2e 能 量 评分 函数 


= Bathe HY" (energy based model, 简称 EBM) 
stl Lecun 等 提出 。 假 设 存在 函数 映射 (zx):R” 
R, 将 样本 空间 中 的 输入 xz 映射 成 为 一 个 被 称 之 
尖 能 量 "的 标量 值 ,一 组 人 6 量 值 (x ,y) 的 集合 可 通 
布 斯 分 布 表达 为 概率 密度 的 形式 : 


—F(x.y) —F(z,y) 
e 


ply |x) 本 = (2) 


er (zx,y) 


y 


其 本 :| eM 是 归 一 化 常数 ,通常 也 被 称 为 配 分 本 
数 ; 下 (x ) 为 自由 能 ， 
F(z)——log| = a (3) 


在 DNN 架构 中 , 任 给 一 个 分 类 模型 f Ca): RP 


>R" ,将 样本 空间 中 的 输入 xz 映射 成 为 K 维 的 特征 
向 量 ,通常 被 称 之 为 logit, 可 利用 Softmax 函数 计算 
出 样本 被 预测 为 某 个 类 的 概率 : 
F 
ply |xa= — (4) 


o 
of 1 (7) 


通过 式 (2).(4) 建 立 能 量 模型 与 DNN 之 间 的 联 
系 。 从 能 量 模型 的 视角 , DNN 中 的 能 量 函 数 可 定义 


为 F(z ,yy) 二 一 f(x), 当 f(z) 的 参数 固定 时 ,可 用 
Softmax 函数 的 分 母 表示 能 量 函 数 : 


Fee; f) = log le’, (5) 
1 一 1 
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通过 DNN 输入 的 logit 可 计算 样本 的 能 量 
基于 能 量 的 检测 方法 使 用 式 (5) 作 为 外 寺 测 样本 的 评分 
函数 G, 将 具有 较 低能 量 的 测试 样本 认为 正常 样本 ， 
高 能 量 值 样本 为 异常 样本 。MSP 评分 函数 在 计算 样 
本 分 数 时 只 关心 最 大 值 的 元 素 ,忽略 了 其 他 位 置 元 素 
中 蕴含 的 信息 ;而 G 评分 函数 考虑 到 所 有 位 置 的 元 
素 ,在 一 定 程度 上 可 避免 过 拟 合 问题 。 


2.3 稀疏 优化 的 学 习 框 架 


给 定 一 批 有 标签 的 正常 样本 训练 数据 集 D; = 
{X.Y}. 训练 一 个 卷 积 神经 网 络 (CNN) 分 类 模型 , 损 
ee FAAS SLM CCE HAR : 


之 Jog(p， Olr. (6) 
EN [i 


模型 训练 完成 后 ， 得 到 一 个 具有 分 类 正常 样本 能 
力 的 预 训练 模型 f(x )。 此 模型 也 具备 一 定 的 检测 
异常 样本 的 能 力 , 可 通过 能 量 分 数 直 接 计 算 待 测 
本 的 分 数 ,从 而 检测 异常 样本 。 但 是 ,该 模型 对 异 
样本 的 检测 色 Se nee ea 
分 类 的 任务 。 

为 进一步 提升 模型 检测 异常 样本 的 能 力 , Liu 
等 1 引入 了 一 个 大 规模 的 辅助 数据 集 ,提出 了 一 个 额 
外 的 学 习 目 标 。 训 练 过 程 中 迫使 模型 为 正常 样本 分 
配 更 低 的 能 量 值 ,为 异常 样本 分 配 更 高 的 能 量 值 ,从 
而 增加 正常 样本 与 异常 样本 之 间 的 能 量 差 。 具 体 地 ， 
能 量 边 界 的 损失 函数 

L energy SE c, gion, (ax OOF (£ n) 


Le. =— 


一 mn) 十 
一 下 (zwo))2)， 
(7) 
其 中 : Da 为 引入 的 大 规模 辅助 异常 数据 集 ; 
Eo y-o, A Ea, ~p,, 分 别 为 在 Da 和 Dox 两 个 数 
据 集 上 的 经 验 风 险 ; Fx) AM F Cx ou) 分 别 表示 正 
常 样本 和 有 异常 样本 的 能 量 值 ;zz 和 mmo 分 别 表示 与 
2 个 数据 集 相 关 的 超 参 数 。 

分 类 正常 样本 是 模型 的 基本 能 力 。 在 微调 模型 
过 程 中 , 既 要 保证 不 能 损坏 模型 的 分 类 能 力 , 也 要 达 
到 增加 正常 样本 与 异常 样本 能 量 差 值 的 目标 。 因 此 ， 

要 将 二 者 结合 起 来 优化 。 总 的 目标 函数 
Lii Le FA t ba (8) 
其 中 : Le 为 训练 分 类 模型 时 采用 的 交 又 炉 损 失 ; 
A> 0 为 平衡 能 量 的 超 参数 。 

容易 看 出 ,上 述 的 能 量 边界 损失 函数 的 设计 相当 
复杂 ,不 仅 引入 了 大 规模 的 数据 集 , 还 引入 了 2 个 与 
训练 数据 集 绑 定 的 超 参 数 , 在 实践 的 过 程 中 ,可 能 难 
以 复 现 其 效果 ,也 很 难 迁移 到 其 他 场景 。 因 此 ,提出 


E zou “Pout ( max ( 0sm out 
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了 一 种 基于 稀 玻 优化 的 微调 模型 。 如 果 进 一 步 增加 
正常 样本 特征 向 量 的 稀 下 性 , 而 对 异常 样本 的 特征 向 
量 无 限制 , 则 正常 样本 的 能 量 值 可 能 会 进一步 降低 ， 
基于 能 量 的 检测 算法 也 可 以 更 好 地 检测 出 异常 样本 。 
图 1 为 基于 稀 玻 优化 的 微调 模型 框架 。 


图 1 基于 稀疏 优化 的 微调 模型 框架 


预 训练 完成 的 CNN 分 类 模型 f(x) 包含 一 个 
特征 提取 器 ,可 提取 输入 的 特征 ,输出 特征 图 像 ,随后 
统 过 全 连接 层 ,输出 特征 向 量 。 用 所 提 方 法 对 特征 向 
最 进行 稀 玉 化 处 理 ,提出 了 一 个 稀 琉 正则 项 


O) — 1 ie 
O Lais | Din [2s | f) | 1)， (9) 


SER. f(a,) | ,表示 特征 向 量 的 范 数 ， 
QJ 同样 ,微调 模型 不 能 损害 模型 的 分 类 能 力 。 在 保 
排 盆 类 效果 的 同时 ,再 进一步 增加 正常 训练 样本 特征 
只 二 的 稀 琉 度 。 因 此 ,所 提 方 法 总 的 优化 目标 函数 
© Lone =Le FAL smsy’ (10) 
FEM. La HURDA ER FE GBA ; 4 
SOE CHAE ER. 
SEA Hee 7 EÈ 9 可 以 发 现 ,所 提 方 法 可 大 大 降低 
aaa D hela ger 
AERA TARAK RAR IE REL LAE BIL 
乎 呢 超 参数 的 方案 。 训 练 过 程 指导 模型 为 正常 样本 
生 万 更 稀疏 的 特征 向 量 ,无 需 约束 异常 样本 的 特征 。 
所 提 方 法 未 引入 大 规模 的 辅助 异常 数据 集 ,只 需 正 党 
样本 训练 数据 集 来 微调 模型 即 可 ,更 加 容易 实现 ,也 
易于 迁移 。 


sr 
3 Xow 


3.1 实验 数据 集 


选择 分 类 任务 中 常用 的 CIFAR-10 和 CIFAR- 
100 数据 集中 作为 正常 样本 训练 数据 ,用 于 训练 深度 
神经 网 络 的 图 像 分 类 模型 ,其 丝 由 50 000 张 训练 图 
{GAN 10 000 张 测试 图 像 组 成 ,是 自然 场景 下 的 RGB 
彩色 (3X 32X 32) 图 像 。CIFAR-10 包含 了 10 个 类 
别 的 数据 , 均 是 一 些 生 活 中 常见 的 物体 ,如 猎狗 、 飞 
机 等 。CIFAR-100 包含 了 100 个 类 别 ,具有 更 丰富 
的 语义 信息 和 更 加 具体 的 语义 标签 ,样本 包含 细 粒 度 
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和 粗 粒 度 2 种 标签 。 例 如 ,在 CIFAR-10 中 样本 的 标 
签 是 “车 ”, 而 在 CIFAR-100 中 样本 不 仅 有 “车 ”的 粗 
粒度 标签 ,还 会 具体 到 是 什么 车 ,如 “皮卡 车 ”的 细 粒 
度 标签 。 

为 保证 实验 结果 的 准确 ,对 评 佑 实验 的 OOD 数 
据 集 进行 了 严格 把 控 , 确 保 待 测试 的 OOD 数据 集 、 
训练 模型 的 ID 数据 集 及 暴露 给 模型 的 异常 数据 之 
间 ,在 样本 的 语义 信息 上 能 够 尽量 做 到 基本 不 交叉 ， 
即 模 型 未 提前 见 过 待 测 数据 。 由 于 数据 集 的 规模 问 
题 ,很 难保 证 一 定 完 全 无 交 又 ,比如 异常 样本 的 局 部 
信息 可 能 包含 了 正常 样本 情况 ,人 为 很 难 精确 控制 。 

选择 6 个 不 同 的 测试 数据 集 来 评估 所 提 方 法 ,这 
些 数据 集 涵盖 了 现实 世界 中 绝 大 部 分 常见 的 场景 ， 
括 自 然 图 片 风景 数据 集 Places365- 街道 场景 编号 
数据 集 SVHN'3、 生 活 中 常见 纹理 的 数据 集 Tex- 
ture) FIG ae Ay ACB AR SUND ,大 规模 场 
景 理解 数据 集中 根据 目标 信息 进行 裁剪 得 到 的 数据 
集 LSUN-Crop、 缩放 得 到 的 数据 集 LSUN-Re- 
sizet” 中 。 在 评估 实验 的 过 程 中 ,所 有 图 像 都 被 下 采样 
到 32X32 大 小 ,与 正常 样本 尺寸 保持 一 致 。 


3.2 评价 指标 


评价 指标 遵循 异常 检测 研究 中 的 标准 实验 设置 ， 
采取 3 个 度量 指标 来 衡量 方法 的 有 效 性 ,分 别 是 : 
FPR 95,AUROC,AUPR。 记 TP,TN,FP,FN 分 别 
表示 真 阳 性 、 真 阴性 、 假 阳性 和 假 阴 性 , 则 正 阳 率 
TPR=TP/(TP+EN) ,表示 预测 为 正常 样本 且 真 实 
也 为 正常 样本 占 所 有 真实 情况 中 正常 样本 总 数 的 比 
率 ; 而 假 阴 率 FPR=FP/(FP+ TN). #78 OU IE 
党 样本 但 真实 情况 为 异常 样本 占 所 有 真实 情况 中 蜡 
常 样本 总 数 的 比率 ; 查 全 率 Recall=TP/(TP+EN). 
其 定义 与 TPR 相同 ; 查 准 率 Precision=TP/(TP+ 
FP) ,表示 被 正确 识别 到 的 正常 样本 占 所 有 真正 的 正 
常 样本 总 数 的 比率 。 

FPR 95 表示 当 95% 的 正常 样本 都 能 够 被 模型 
正确 识别 的 情况 下 所 对 应 的 FPR; ROC 曲线 为 以 
FPR 为 横 坐 标 、TPR 为 纵 坐 标 所 对 应 点 绘制 出 来 的 
曲线 ,AUROC 表示 ROC 曲线 与 坐标 轴 围 成 区 域 的 
面积 ;同样 ,PR 曲线 为 以 查 全 率 为 横 坐 标 、 查 准 率 为 
纵 坐 标 所 对 应 点 绘制 出 来 的 曲线 。AUPR 表示 PR 
曲线 与 坐标 轴 围 成 区 域 的 面积 。FPR 95 的 值 越 小 越 
好 ,而 AUROC 和 AUPR 的 值 越 大越 好 。 

图 2(Ca) 为 模型 在 两 个 正常 样本 数据 集 上 ,微调 
模型 前 后 对 正常 样本 分 类 准确 率 的 变化 情况 ,可 发 现 
所 提 方 法 对 正常 样本 分 类 的 能 力 几 乎 没有 影响 。 而 
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图 2(b) 为 一 组 ROC 曲线 变化 情况 ,其 中 蓝 色 曲 线 表 
示 模 型 微调 之 前 , 检 色 曲线 表示 所 提 方 法 微调 模型 之 
后 ,可 以 发 现 ,经 过 所 提 方 法 微调 之 后 ,FPR 减 小 ， 
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= 
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GO 采用 具有 残 差 结构 的 WideResNet 作为 CNN 
b> aah sega ipa, 
BPE. BE FH RAUB TE A BL LY BR FY HEH BR TE WI 
增加 数据 集 的 多 样 性 。 此 外 ,根据 CIFAR-10 和 CI- 


TPR 增 大 ,ROC 曲线 朝 着 左上 方 移动 ,AUROC 的 
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Cb) 模型 微调 前 后 的 ROC 曲 线 变化 情况 


图 2 微调 模型 前 后 的 ROC 和 分 类 准确 率 变化 


3.4 实验 结果 分 析 


图 3Ca)、(b) 分 别 为 本 方法 模型 微调 前 后 ,所 有 
给 定 待 测试 样本 能 量 分 数 的 分 布 ,其 中 绿色 曲线 表示 
正常 样本 的 分 布 ,红色 曲线 表示 异常 样本 的 分 布 ,2 
条 曲线 交叉 的 部 分 表示 正常 样本 与 异常 样本 混淆 的 


9 标准 均值 和 方差 进行 归 一 化 处 理 , 以 消除 奇异 
GRP VENA BLS, UREA. CNN 网 络 的 参 
数 保 持 一 致 ,每 次 循环 加 载 的 BatchSize 是 128; 优化 
HIRR BELE BE F KE; 优化 过 程 采用 Momentum 
动态 调整 梯度 和 权重 衰减 策略 , Momentum 的 值 设 
X 0.9; L 范 数 的 权重 衰减 系数 设 为 0.000 5, Frit 
平衡 常数 1 设置 为 0.01。 

值得 注意 的 是 , 预 训练 阶段 与 微调 阶段 采取 的 学 
习 率 和 训练 的 epoch 不 同 , 预 训练 时 学 习 率 取 值 相对 
较 大 ,因为 训练 是 从 一 个 随机 的 参数 空间 中 搜索 最 优 
解 , 较 大 的 学 习 率 有 助 于 学 习 在 一 个 大 的 范围 中 迅速 
更 新 参数 ; 而 微调 阶 阶 段 采用 的 是 一 个 已 经 具备 一 定 
知识 的 模型 ,此 时 选择 较 小 的 学 习 率 ,在 局 部 的 空间 
中 搜索 解 ,只 需要 少 次 的 训练 即 可 。 具 体 地 ,在 预 训 
练 模型 阶段 ,epoch 设置 为 100 ,学习 率 设置 为 0. 1; 
在 微调 模型 阶段 ,其 他 配置 保持 不 变 ,epoch 设置 为 
10, 学 习 率 设置 为 0. 001。 


Poon 数据 集 每 个 通道 (彩色 图 像 有 RGB 三 色 通 


区 域 ,在 该 范围 内 正常 样本 和 异常 样本 无 法 区 分 。 交 
又 的 区 域 越 小 ,说 明 模 型 的 检测 能 力 越 强 。 微 调 后 模 
型 交 义 的 区 域 显著 减 小 ,说 明 所 提 方 法 显著 提高 了 模 
型 的 检测 能 力 。 结 合 图 2(a) 为 分 类 准确 率 变化 情 
况 , 说 明 所 提 方 法 在 提高 模型 检测 异常 样本 能 力 的 同 
时 ,并 不 会 损害 模型 对 正常 样本 的 分 类 能 力 。 图 3 
(a) 、b) 中 横 坐 标 和 纵 坐 标 所 对 应 的 比例 不 一 样 , 这 
是 由 于 微调 后 得 到 的 是 一 个 新 模型 ,每 个 待 测试 样本 
重新 输入 新 模型 ,此 时 提取 的 每 个 样本 特征 都 已 经 发 
生 了 变化 ,对 应 的 分 数 自然 会 发 生 改变 ;而 在 检测 异 
常 样本 ,并 不 关心 具体 数值 ,只 需 找 到 一 个 能 够 把 二 
E XIA AY BY LB AY 。 


3.4.1 对 比 不 同 异 常数 据 集 

实验 以 WideResNet 训练 CIFAR-10 和 CIFAR- 
10 的 分 类 模型 为 基 模 型 ,以 测试 基 模 型 的 检测 效果 
作为 基准 ;随后 ,用 所 提 方 法 进一步 微调 基 模 型 ,再 测 
试 模 型 的 检测 效果 。 实 验 检 测 结果 如 表 1 所 示 。 为 
了 避免 实验 的 偶然 性 误差 ,每 个 评估 实验 进行 了 10 
次 ,最 后 取 其 平均 值 。 

所 提 方 法 在 训练 过 程 有 2 MRE HER: 1 36 LR 
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(a) 本 方法 微调 之 前 (b) 本 方法 微调 之 后 
图 3 本 方法 微调 模型 前 后 的 能 量 分 数 分 布 变化 
表 1 模型 微调 前 后 检测 异常 样本 的 对 比 实验 
| FPR 95 AUROC AUPR 
rit 异常 样本 — - - - 一 - 
基 模 型 十 所 提 方 法 基 模 型 十 所 提 方 法 基 模 型 十 所 提 方 法 
© Texture 52.46 + 0. 88 26. 52 = 0. 84 85. 54 + 0. 30 94.07 + 0.32 95.63 = 0.13 98.44 + 0.12 
O SHVN Blea a057 17.57 = 0.74 94.64 + 0.11 96.96 + 0.19 98. 80 + 0.03 99.36 = 0.05 
© Places365 43.13 Æ -0.80 27. 38 + 0.99 87.73 2c 0 37 93. 26 += 0.31 96.36 + 0.16 98.19 + 0.11 
Give 10 LSUN-C 09.36 = 0. 64 4,38 = 0: 52 98.05 + 0.07 99.09 = 0.08 99.58 + 0.02 98. 81 + 0. 02 
(ee) LSUN Resize 25:33 2. 0, 79 9.23 + 0.76 94.96 + 0.16 98.12 = 0.12 98. 82 + 0.05 99.61 + 0. 03 
N iSUN 29.93 + 0. 86 12.74 + 0. 66 93. 86 + 0. 20 97.56 += 0.10 98.57 + 0.06 99.48 + 0.03 
N Mean 31. 32 16. 30 92. 46 96. 51 97. 96 99.15 
> Texture 80.44 + 0. 61 68. 33 + 0. 68 74.91 += 0.27 81.85 = 0.29 93.18 + 0.11 95.38 = 0.12 
` < SHVN 74.75 Œ 0. 67 56.05 + 0.52 84. 42 + 0. 24 89. 32 + 0.28 96.55 = 0.07 97.68 + 0.09 
© Places365 82.20 = 1.08 73. 11 2 0.89 74. 70 = 0.47 79.71 + 0.49 93.25 + 0.17 94.75 + 0.21 
(TEAR-100 LSUN-C 43.01 + 1.37 33-02 22 0:83 92.60 + 0. 21 94.114 0.16 98.42 + 0.05 98.75 + 0. 04 
[1 
i LSUN Resize 71.15 se 1, 30 49.61 + 0. 66 81.42 = 0. 37 88. 36 = 0.25 95.13 + 0.14 97.14 + 0.10 
© iSUN 75.92 + 0. 89 54.93 十 0. 72 79.55 = 0.52 87.40 = 0.18 94.66 + 0.21 96.92 + 0.07 
Mean 71. 25 55. 84 81. 26 86. 79 95. 20 96. 77 


损失 保证 模型 对 正常 样本 的 分 类 能 力 不 会 受到 影响 ; 


2) 稀 玻 优化 损失 指导 模型 增加 正常 样本 特征 向 量 的 
稀 玻 程度 。 稀 玻 的 特征 具有 更 低 的 能 量 值 , 拉 开 了 正 
常 样本 与 异常 样本 之 间 的 能 量 值 差异 ,从 而 提高 了 能 
量 分 数 检测 算法 的 性 能 。 表 1 为 正常 样本 模型 在 微 
调 前 后 ,检测 不 同 的 异常 样本 的 表现 情况 。 由 表 1 可 
知 , 经 过 所 提 方 法 微调 后 的 模型 ,检测 异常 样本 的 能 
力 得 到 全 面 提 升 。 总 之 ,在 CIFAR-10 模型 上 ,所 提 
方法 将 6 个 数据 集 上 FPR95 平均 降低 了 15.02%; 
在 CIFAR-100 模型 上 ,FPR95 平均 降低 了 15. 41%; 
这 是 一 个 非常 显著 的 进步 ,所 提 方 法 无 需 辅助 数 
据 集 。 
3.4.2 对 比 不 同 的 方法 

上 述 实验 对 比 了 模型 在 不 同 数据 集 上 的 具体 


表现 ,说 明了 所 提 方 法 的 有 效 性 ,但 是 仅 看 有 效 性 
还 不 能 突出 所 提 方 法 在 当前 的 研究 领域 中 的 优势 。 
实验 继续 对 比 当 前 比较 流行 的 检测 方法 ,包括 
MSP“! ODIN"! | Mahalanobis! 及 EBD, PF fi fit 
有 方法 的 模型 都 是 基于 WideResNet 网 络 训 练 的 分 
类 模型 。 

为 了 体现 实验 对 比 的 公平 性 ,所 有 方法 都 未 用 到 
辅助 数据 集 , 只 需 正 常 样本 训练 数据 集 。 表 2 为 不 同 
方法 的 检测 表现 情况 。 表 1 中 的 数据 均 为 模型 在 6 
个 测试 数据 集 上 进行 了 10 次 实验 后 结果 的 平均 值 。 
可 以 发 现 ,所 提 方 法 在 所 有 检测 指标 上 均 领 先 于 其 他 
方法 ,很 大 程度 提高 了 当前 方法 的 检测 性 能 ,说 明 所 
提 方 法 非常 具有 竞争 力 。 


分 类 模型 方法 FPR 95 AUC AUPR 
MSP 52. 36 90. 42 97. 42 
ODIN 36. 40 91. 86 98. 03 
CIFAR-10 
Mahalanobis 38. 08 91. 37 98. 52 
WideResNet 
EBD 31. 32 92. 46 97. 96 
本 方法 16. 30 96.51 99. 15 
MSP 80. 55 75. 43 93. 32 
ODIN 76. 65 77. 34 94. 14 
CIFAR-100 
Mahalanobis 60. 05 80. 36 95. 07 
WideResNet 
EBD 71. 25 81. 26 95. 20 
本 方法 55. 84 86.79 96. 77 
4 ARA 
= 
Ajith 了 一 种 简单 且 有 效 的 损失 函数 ,用 于 对 已 经 


JETI CNN 分 类 模型 进行 微调 ,显著 提高 了 模型 
pa 常 样本 的 能 力 。 其 优化 的 目标 是 增加 正常 样 
5 千 征 的 稀疏 性 ,从 而 使 得 正常 样本 的 能 量 分 数 更 


fog eae 样本 和 异常 样本 之 间 的 可 区 分 程 
He 结果 表明 ,包括 正常 样本 采用 不 同 的 CNN 
对 过 简单 微调 后 ,一 致 提升 了 检测 不 同类 


四 
常数 据 给 模型 ,也 能 达到 与 之 相当 的 效果 。 下 一 步 将 
继续 实验 所 提 方 法 在 更 多 不 同 CNN 网 络 上 的 表现 
情况 及 研究 方法 的 可 迁移 性 ,探索 在 更 高 维度 和 更 大 
规 条 数据 集 上 的 表现 。 
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